人物 | 詹坤林：AI技术助力CRM系统智能化
自1936年阿兰· 图灵提出「图灵机」以及机器具备「思维」的可能性以来，以机器学习为代表的人工智能经过飞速发展，深刻地改变着我们的世界。2021年4月16日-17日，由 Boolan 举办的全球机器学习技术大会在金茂北京威斯汀大饭店召开，大会特邀近40位机器学习领域的技术领袖和行业应用专家，与1000+来自电商、金融、汽车、智能制造、通信、工业互联网、医疗、教育等众多行业的精英参会听众，共同探讨人工智能领域的前沿发展和行业最佳实践。
58同城TEG AI Lab负责人詹坤林受邀在本次大会分享了《AI+CRM提升企业人效和业绩》。背景
58同城生活服务平台包括房产、汽车、招聘、本地服务（黄页）四大老牌业务，平台连接着海量C端用户和B端商家，B端商家可以在平台上发布房源、车源、职位、生活黄页等各类信息（我们称之为“帖子”），平台将这些帖子分发给C端用户供其浏览，帮助不同业务下的B端商家获取目标用户，助力B端商家获得更大收益。58平台上的B端商家来自于房产中介、二手车商、中小企业、黄页商家等客户，各业务线的销售团队会向这些客户做营销推广，售卖会员套餐，吸引客户成为58商家，客户成为58商家后便可以利用58平台的流量优势获取更多商机。在这样的业务模式下，每年销售团队售卖的会员套餐为58贡献了大量的收入。销售人员会使用客户关系管理（CRM，Customer Relationship Management）系统作业，如何打造智能化CRM，提高销售人员工作效率和业绩至关重要。2020年6月，AI Lab全面接手了CRM智能化算法工作，我们将个性化推荐/搜索、语音、NLP和人机对话技术应用在黄页（本地服务）业务线CRM系统中，助力了CRM系统智能化。值得一提的是，58当前正在升级传统业务模式，正迈向产业互联网道路，各业务全面拥抱产业化。产业化即把整个业务链条所有的信息流程全部在线化、数字化，并且能够无缝地将上下游协同起来，与此同时，还需要提供客户需要的所有服务，让客户在房产、汽车、招聘、本地服务等领域都能有更高的效率。在58主要领域里，努力成为全球第一家完成产业化升级的分类信息平台是58未来的新目标。
黄页销售团队包括直销、电销两种工作场景，由于两种场景下的技术应用基本一致，这里仅介绍直销场景。直销场景下销售人员会通过拨打电话、微信聊天（电话沟通后和用户加微信）、线下外访等方式持续跟进用户。在传统工作模式下，一个销售人员需要全程负责从拿到商机到成单整条链路上的所有工作。2020年，黄页业务线对直销模式下销售人员工作流程进行了改革，打造了"密歇根"工作模式，在各个城市中将原始一个销售团队拆分成商机组、销售组两个工作组。商机组人员的任务是探需，拨打商机电话以筛选出有可能购买58会员的用户，若用户有一定意向则这类商机被称作有效"转出"商机，"转出"的意思是指这些商机会被转给销售组工作人员，之后该商机就由销售组人员持续跟进，如电话联系、微信沟通、外访，直至成单。
在密歇根工作模式下，商机组的销售人员只会参与整条成单链路上的第一个环节，通过拨打一通电话来判断商机是否可转出，工作非常纯粹，不再需要参与后续深入的跟进、外访等，商机组需要产生更多的转出商机，每个销售人员的业绩指标是转出商机数量。经过商机组的过滤，销售组的销售人员拿到的商机都是有一定意向的用户，销售组只需做好后续的深入跟进、外访等工作，专心提高最终的成单数量。相比传统工作模式下一个销售人员需要全程参与成单链路上的所有工作，密歇根模式将销售流程进行拆解，商机组和销售组各司其责，整个销售团队的工作效率变得更加高效。相关详细业务逻辑也可参考文章《AI + CRM 提高企业的 "绩" 和 "效"》中的介绍。
商机即潜在58会员信息，包括公司名称、行业、地址、联系人、联系电话等信息。CRM系统中包括新增商机、历史商机两类，新增商机指每日新流入的商机，销售人员从未触达过，这类商机量少，但成单可能性相对较高，成单周期相对较短；历史商机指销售人员跟进过但没有成单的商机，这类商机经过长期积累，数量巨大，但成单可能性低，成单周期较长。在日常工作中，销售人员大部分时间都是在跟进历史商机，一个商机往往需要销售人员花数月时间跟进多次才能最终成单。
在黄页密歇根工作模式下，CRM系统设计了一系列功能模块来支持商机的流转。在商机组，主要包括新增商机轮询分配、基于历史商机的商机推送和一键申领、转出商机人工质检。新增商机轮询分配即将每日新流入的少量商机向各个销售人员轮流分配一条。商机推送即系统每天凌晨从历史商机库中向每个销售推送数十条商机（该过程也称作商销匹配），每日仅推送一次，销售人员上班后必须全部跟进完。销售人员在跟进完系统推送的商机后，可以使用搜索功能从系统搜索商机继续跟进（该过程也称作一键申领），每次可搜索数十条商机，跟进完之后可继续搜索，每天商机组销售人员的工作时间有80%会在一键申领场景。商机组销售人员通过拨打商机电话来人工判断该商机是否可转出，尽管业务方明确定义了转出商机的规范，但是不同人对规范的理解会有不一致、不同人员的工作能力也会有差异，因此需要对转出商机录音进行人工抽样质检，监控各团队商机合规率，以规范商机组工作。商机组形成的转出商机会实时分配给销售组，某个销售组人员在跟进一个商机过程中也可以释放商机，商机释放后会进入一个中间库，供其他销售人员搜索跟进，这里和商机组类似，不做过多介绍。
在直销模式下的商机流转过程中，AI技术可以应用于不同环节。商机组商机推送模块里可以应用个性化推荐算法，向不同销售人员推荐适合其跟进的商机以优化商机转出率，一键申领模块可以在搜索时应用机器学习个性化排序，不同销售人员可以搜索到适合其跟进的商机以优化商机转出率，销售组也类似。商机组的销售人员的任务是通过拨打一通电话来判断商机是否可转出，工作较标准化，可以应用人机语音对话技术打造销售人员智能外呼助手，以形成更多的转出商机。在转出商机录音质检上，人工质检的覆盖率低、人效低，可以首先利用语音识别技术将录音转化为文本，然后使用NLP技术来实现机器自动质检。
商机智能分配系统
我们可以参考内容阅读系统中的内容分发模型来建模CRM系统中的商机分发。在一个内容阅读系统中，系统通过搜索或推荐功能向用户展示（曝光）一个内容列表，用户会基于个人兴趣去点击阅读新闻，若对新闻内容有更深的兴趣会在阅读完后做评论、分享等转化操作，用户的行为路径是 "曝光 -> 点击 -> 转化" ，这里核心是建模用户兴趣和内容，以优化点击率、转化率。在CRM系统中，商机组销售人员拿到一个商机列表后需要拨打跟进所有商机，用户接通后与其沟通，形成有效转出商机，销售人员的行为路径是 "拨打商机 -> 接通商机 -> 形成转出商机"。从商机被拨打到接通更多是取决于商机本身，如商机联系人（用户）当前是否方便接电话、是否曾经被频繁拨打过、是否有购买会员的意愿等，从接通到是否形成转化取决于销售个人话术经验、商机联系人的意愿等，这里核心是对用户意愿度、销售个人经验的建模。
基于这样的定义，若要提高商机组转出商机数可以提升拨打转出率（转出商机数 / 拨打商机数），这类比内容阅读系统中的曝光转化率（CTCVR）。此外，业务方还关心接通转出率（转出商机数 / 接通商机数），即转化率（CVR），该指标反应了接通一个商机后形成转化的沟通成本，CVR越高成本越低，销售效率越高，工作信心也越大。CTCVR（拨打转出率）和CVR（接通转出率）两个指标都需提升，这是一个多目标优化问题。
商机智能分配系统的总体架构如上图所示，最底层是数据层，汇集商机数据、话务数据、销售行为数据等各类数据并做抽取，基于底层数据可以开展各类基础数据计算，如生成商机画像和销售画像、建立ES索引、计算商机和销售的向量表示等，再往上是核心算法策略层，包括各类召回策略和排序模型，基于此来实现搜索个性化排序和个性化推荐应用。
在一键申领场景，CRM系统有一个原始逻辑，在销售搜索商机时系统按照一个商机全局分值排序，具体流程为：每天凌晨由一个以拨打成单率（最终成单商机数/拨打商机数）为目标的机器学习打分模型给历史全量商机计算一个商机分值，该分值在ES（Elasticsearch）构建索引时写入索引，在销售搜索商机时，ES按该分值排序返回商机列表。我们采用搜索个性化排序新方案来替代原始逻辑，新方案分为召回层和排序层，召回层包括检索召回和向量召回，检索召回类似原始逻辑，不同的是我们训练了以拨打成单率、拨打转出率、接通转出率等为目标的多个商机打分模型，将所有分值写入ES索引，线上召回时基于用户输入的搜索条件做多路检索召回。在向量召回上，我们先后使用了FM模型、DNN双塔模型来得到商机向量和销售向量，线上使用58向量检索平台vSearch（内核为FAISS）做向量检索召回，首先使用销售向量检索出最近邻的若干条商机向量，然后过滤掉不符合搜索条件的商机。在排序层，我们先后落地了XGBoost、MMOE、PLE模型，同时提高拨打转出率（CTCVR）和接通转出率（CVR），这里的详细算法实践可以参考我们后续的文章《多目标排序在CRM商机智能分配系统中的应用实践》。
新方案上线需要做ABTest，合理的ABTest实验方式非常关键。各城市的商机组销售人员规模小，一般为10到30人，不同人员的销售经验差异也较大，若像传统推荐系统那样根据用户（销售）来分流对比，数据会容易有偏。因此，这里采取按照请求随机分流的方式来做ABTest，例如在一键申领场景下，某个销售人员点击搜索按钮得到商机列表时，可能本次得到的商机列表是走的是新逻辑，下次走的是原始逻辑。
在项目初期，为了快速落地机器学习，我们在召回层直接沿用原始基于拨打成单率的商机打分召回，仅扩大了召回商机数量，由原始数十条扩大至数百条，在排序层上线XGBoost排序模型，模型使用了销售画像、商机画像等各类特征，我们称这版逻辑为V1版模型。V1版模型ABTest上线后，效果相比原始逻辑每天稳定提升，拨打转出率相对提升了32%，接通转出率相对提升了13%，我们很快将V1模型进行推全。此后，我们在召回层新增了FM召回、DNN双塔模型召回，在排序层上线MMOE模型、PLE模型，这一版逻辑称为V2版模型。V2版模型ABTest上线后，效果相比V1版模型每天稳定提升，拨打转出率相对提升了62%，接通转出率相对提升了53%，此后我们将V2版模型进行了推全。
商机推送（也称商销匹配）即系统每天凌晨从历史商机库中向每个销售推送数十条商机，每日仅推送一次，销售人员上班后必须全部跟进完这些商机。这里CRM系统有一个原始逻辑，和一键申领场景类似，每天凌晨由一个以拨打成单率（最终成单商机数/拨打商机数）为目标的机器学习打分模型给历史全量商机计算一个商机分值，然后将所有商机从分值高到低排序，再将每条商机轮询分配给每个销售，直至每个销售分配满额，其余未分配的商机在一键申领场景会被销售搜索到。我们直接在商机推送场景上线了类似一键申领场景中的V2版本模型，不同的是在检索召回时是基于销售画像来生成的检索条件，从而实现了个性化推荐。这里的ABTest实验方式为每日凌晨给销售人员分配商机时50%商机来自原始逻辑，50%商机来自个性化推荐逻辑。个性化推荐逻辑ABTest上线后，相比原始逻辑每日取得了稳定的效果提升，拨打转出率相对提升了241%，接通转出率相对提升了83%，我们很快将个性化推荐逻辑进行了推全。
在我们的实现中，搜索个性化排序系统和推荐系统的架构完全相同，也参考了我们曾经在推荐系统上的经验，可以参考《58同城智能推荐系统的演进与实践》。在效果数据统计上，我们使用58自研数据可视化工具“星火”（xinghuo.58.com，对外免费）+ClickHouse来实现，详细介绍见《星火在CRM商机智能分配场景的应用实践》，这里也可以使用Kylin来实现《基于Kylin的推荐系统效果评价系统》。
当前，我们还关注商机智能分配系统中的商机覆盖率指标，即历史全量商机多久能够被全部覆盖，这里主要是通过一些规则策略来实现，如在召回层中增加未跟进商机的强制召回，并在最终推荐时强制展示出一定数量的未跟进商机。这样的策略会降低最终的拨打转出率指标，需要控制相关阈值使得拨打转出率不能下降太多，这里不做过多描述。
销售智能外呼助手
机器人从CRM系统中申领一条商机后会自动发起外呼，首先向用户发送一段开场白语音，用户接通后会和机器人进行对话，用户可以向机器人提问或表达，机器人收到用户语音时会使用流式语音识别技术将语音转译成文本，并使用NLP技术识别出用户意图，进而回答用户提问或者向用户反问，机器人和用户就这样不断对话直至会话结束，人机对话详细流程可参考文章《人机语音对话技术在58同城的应用实践》。
机器人的效果提升涉及多个环节的优化，在商机申领时，可以为机器人开发独立的商机推荐模型，优化机器人拨打转出率；机器人对话录音可以通过语音合成或人工录音生成；在语音识别环节，基于场景数据优化自研语音识别引擎，自研语音识别引擎详细介绍可参考文章《3人半年打造语音识别引擎——58同城语音识别自研之路》；在人机对话时，用户的对话动作一般可以分为向机器人提问、回答机器人提问、陈述表达三类，机器人需要在这三类意图上有较好的识别效果，使得对话更加流畅，并最终识别出更多更准确的转出商机；机器人外呼的目的是做探需，通过不断沟通挖掘出用户的信息，因此向用户发送什么话术至关重要，这里机器人需要学习人工销售的经验，可以从人工销售沟通内容中挖掘出优秀话术，进而为机器人设计话术。
意图识别又可以分为单句意图识别和整轮意图识别。单句意图识别是指识别出用户的单轮对话意图，用以控制对话逻辑，单据意图效果越好，对话会越流畅。整轮意图识别是指在对话结束后，识别出该商机是否可以转出。整轮意图识别模块的准确率和召回率直接影响最终拨打合规转出率指标，拨打合规转出率等于正确转出商机数除以拨打商机数，正确转出商机数越多，拨打合规转出率才会越高，这需要通过优化整轮意图识别的准确率和召回率来实现。这里我们应用了TextCNN、LSTM、DSSM等文本分类、文本匹配算法，也应用了BERT、SPTM（Simple Pre-trained Model，轻量级预训练）等预训练模型，相关算法实现可以参见我们的开源项目qa_match，具体见《开源｜qa_match更新啦——支持轻量级预训练、提高问答通用性》。
单句意图识别中的关键一项是识别出用户的提问并做回答，只有回答对用户的提问才能将对话继续进行下去。这需要机器人有一个丰富的问答知识库，能够覆盖大量用户问题和答案。我们通过半自动问答知识库挖掘方法来扩充问答知识库，具体流程如上图所示。在机器人上线前，我们基于人工销售对话文本数据挖掘问答对加入知识库，并训练意图识别模型，使得机器人冷启动时能够具备一定回答能力。机器人上线后，线上产生了实际对话数据，可以从中挖掘出线上用户的真实提问，再结合运营人员填充答案，可以形成新的问答知识库，进而更新意图识别模型，通过这种方式持续丰富机器人的回答能力。我们的问答知识库挖掘工具发布在开源项目qa_match中，具体见《开源｜qa_match更新啦——新增知识库半自动挖掘模块》。
机器人外呼的目的是做探需，向用户发送什么引导话术至关重要，这里机器人需要学习人工销售的话术经验，保证一定的对话深度，对话越充分越能探查出用户的意愿度，机器人在整轮意图识别模块识别出的转出商机数才会越多。我们对人工销售合规转出录音数据进行分析挖掘，通过机器结合人工的方式得到优质话术应用于机器人，例如对于一个开始无意向的用户，销售人员通过不断沟通最终说服用户有意愿，这类话术在机器人对话中可以起到关键作用。
机器人的效果提升涉及商机申领、话术合成/录音、话术设计、意图识别、语音识别等多个环节，各环节需要由不同技术人员并行迭代，快速优化机器人效果，我们采用了多层ABTest实验的迭代方法，这类似推荐系统中的召回、排序、重排多层ABTest实验，可以归因每个环节的变化带来的最终效果提升，我们使用自研ABTest实验平台日晷（参考《58通用ABTest实验平台"日晷"的设计与实践》）来完成ABTest实验。
商机申领、话术合成/录音、话术设计、语音识别、单句意图识别这些模块的优化是为了在一个固定数量的商机集合上生成更多、更深、更流畅的对话内容，这些对话内容数据最终会输入整轮意图识别模块去判断是否可形成转出商机。输入的对话内容数据和相关特征决定了机器人的效果上限，整轮意图识别模型是去无限逼近该上限，我们需要通过优化各模块提高上限，并持续优化整轮意图识别模型的召回率和准确率去提高机器人实际效果。当前，我们打造的销售智能外呼助手在部分城市上已经达到人工销售水平的80%+，未来将持续深入优化，追求在全部城市上的效果提升，扩大应用价值。
智能语音质检
在人工销售转出商机录音质检上，人工质检的覆盖率低、人效低，可以首先利用语音识别技术将录音转化为文本，然后使用NLP技术来实现机器自动质检。智能语音质检系统可参考文章《AI技术如何打造智能语音质检系统》。
在当前场景下，质检模型是识别出商机录音是否可以转出，这和销售智能外呼助手中的整轮意图识别模型类似，只是输入质检模型的数据是人工销售对话文本。质检模型优先保证准确率，再持续提高召回率，当前我们已上线基于机器质检结果的销售绩效自动扣减，即机器识别出不合规转出商机时自动扣减对应销售人员的绩效。语音质检还可以应用于高投诉风险商机预测、销售沟通自动摘要等应用上。
总结
CRM系统经过二十多年的发展已成为企业的基础设施，近年来随着AI技术的普及，越来越多的企业将AI技术应用于CRM系统，打造企业新的收入增长引擎。最近一年来，我们将个性化搜索/推荐、语音、NLP、对话等AI技术应用在CRM系统中，使得58同城CRM系统走向智能化。未来，我们会持续优化当前AI应用效果，并将探索销售话术学习系统、话术陪练机器人等新型AI应用的落地，为58各业务产业化升级贡献一份力量。詹坤林
TEG技术工程平台群AI Lab负责人，算法资深架构师，技术委员会AI分会主席。
关注NLP、推荐、语音等方向，目前主要负责AI Lab团队管理工作，致力于推动AI技术在58的落地，打造AI中台能力。AI Lab目前负责的产品包括智能客服、语音机器人、智能语音分析平台、语音识别、CRM商机智能分配系统、智能写稿、AI算法平台等。
关注“58AILab”公众号—部门介绍—联系我们—添加小秘书微信（WubaAILab）备注 “AI+CRM” 即可获取。
推荐阅读：
AI Lab部门简介
58同城AI Lab隶属TEG技术工程平台群，成立于2018年5月，目前部门规模为60~70人，包括产品经理、后端、数据、算法开发人员。AI Lab旨在推动AI技术在58同城的落地，打造AI中台能力，以提高前台业务人效、收入和用户体验。
欢迎关注部门微信公众号：58AILab